Bài hát là một cuộc cách mạng trong việc kết hợp đàn ghi ta điện, hợp âm organ và giọng hát của Dylan thật trẻ trung, mang tính giễu cợt.[59] Nhà phê bình Michael Gray miêu tả ca khúc là một "hỗn hợp của blues, trường phái ấn tượng, một câu chuyện ngụ ngôn, và sự thẳng thắn trong phần điệp khúc khi hỏi: 'How does it feel' (Cảm giác thế nào nhỉ?)".[59] Bài hát đã có một tác động rất lớn trong văn hóa phổ biến và nhạc rock lúc bấy giờ. Thành công của nó đã đưa Dylan thành một biểu tượng nhạc pop, như Paul Williams viết rằng:

Dylan đã nổi danh và đã từng là trung tâm của sự chú ý trong một thời gian dài. Nhưng bây giờ lịch sử lại lặp lại lần nữa. Ông trở thành một ngôi sao nhạc pop đồng thời là ngôi sao nhạc dân gian... thậm chí còn hơn cả nhóm Beatles, một biểu tượng của văn hóa phổ biến, chính trị, thay đổi cả thế hệ tại Mỹ và châu Âu. Ông được xem như, trong nhiều mặt khác nhau, là một nhà lãnh đạo.[60]

Nhà sản xuất thu âm Paul Rothchild, nhà sản xuất cho 5 album đầu tiên của The Doors, nhớ lại sự tự hào khi có một nghệ sĩ Mỹ đã tạo ra một bản thu âm thách thức thành công vị trí đứng đầu của nhóm British Invasion (một nhóm những nghệ sĩ ở Anh quốc khá nổi tiếng ở Mỹ vào suốt những năm 1964-1966). Ông nói, "Điều tôi nhận ra khi tôi đang ngồi đây, có một người Mỹ gọi là hippie ở Village —đang tạo ra những ca khúc có thể cạnh tranh được với HỌ—the Beatles, và the Stones, và Dave Clark Five—mà không cần từ bỏ bất cứ tính chất nào của nhạc dân gian hay sức mạnh của rock'n'roll."[61]

Ca khúc đã tác động rất lớn đến Bruce Springsteen, lúc ông mới 15 tuổi và lần đầu tiên nghe nó. Springsteen đã mô tả sự việc đó trong bài phát biểu của ông khi vinh danh Dylan tại Đại sảnh danh vọng Rock and Roll vào năm 1988, và cũng đánh giá ý nghĩa lâu dài của "Like a Rolling Stone":

Lần đầu tiên tôi nghe Bob Dylan, là lúc tôi ngồi trong xe với mẹ tôi và nghe đài WMCA, và lúc đó tôi thật sự cảm giác như có ai đó đã làm một cú đá mở cánh cửa tâm hồn tôi... Cách mà Elvis giải phóng cơ thể, cách mà Dylan giải phóng tâm hồn, đã cho chúng ta thấy rằng âm nhạc là bản năng tự nhiên không có nghĩa là nó chống lại lý trí. Anh ta có tầm nhìn và tài năng biến nhạc pop chứa đựng được cả thế giới. Anh ấy tạo ra một cách mới cho các ca sĩ nhạc pop có thể hát, và phá vỡ những giới hạn mà ngành thu âm có thể đạt được, và anh ta đã thay đổi bộ mặt của rock'n'roll mãi mãi và mãi mãi."[62][63]

Những người sống ở thời điểm đó đã rất giật mình và xem như bị đĩa đơn này thách thức. Paul McCartney nhớ lúc ông đang đi xung quanh nhà của John Lennon tại Weybridge là lần đầu tiên ông nghe bài hát. Theo McCartney, "Nó có vẻ như cứ tiếp tục và tiếp mãi. Nó thật đẹp... Anh ấy đã cho tất cả chúng ta thấy rằng nó có thể tiến xa hơn nữa."[64] Frank Zappa có một phản ứng cực đoan hơn: "Khi tôi nghe 'Like a Rolling Stone', tôi đã muốn từ bỏ sự nghiệp âm nhạc, bởi vì tôi cảm thấy: 'Nếu ca khúc này thành công và nó đạt được mục đích, tôi không cần phải làm gì khác nữa...' Nhưng nó lại chẳng làm được gì cả. Nó được phát hành và bán ra nhưng không ai đáp lại theo cách mà đáng lẽ ra họ nên làm."[64] Gần 40 năm sau, năm 2003, Elvis Costello nhận xét về chất lượng sáng tạo của đĩa đơn. "Thật là khó tin khi sống trong thế giới có Manfred Mann, The Supremes và Engelbert Humperdinck lại có thể nghe 'Like a Rolling Stone'".[65]

Mặc dù CBS đã cố gắng làm cho bản thu âm "tiện lợi phát thanh" hơn bằng cách cắt một nửa bài và trải rộng ra 2 mặt đĩa, nhưng Dylan và cả các fan hâm mộ đã yêu cầu phải phát đầy đủ 6 phút trong một mặt đĩa và đài phát thanh cần phải phát toàn bộ bài hát.[66] Thành công sau này của "Like a Rolling Stone" đã đóng một vai trò lớn trong việc thay đổi các quy ước trong ngành công nghiệp âm nhạc rằng đĩa đơn chỉ được dài dưới 3 phút. Những nhân vật bí ẩn và sự sáng tạo trong lời bài hát cũng đã tạo ra một sự đổi mới trong Top ten các bảng xếp hạng. Theo lời của Rolling Stone, "Không có ca khúc pop nào khác đã hoàn toàn thách thức và thay đổi những luật lệ thương mại và qui ước nghệ thuật vào thời điểm đó, và đồng thời là mãi mãi."[67]

Vào năm 1966, Dylan nói với Ralph Gleason: "Rolling Stone là ca khúc hay nhất mà tôi từng viết."[68] Vào năm 2004, khi nói chuyện với Robert Hilburn, Dylan vẫn cảm thấy rằng ca khúc có một vị trí đặc biệt trong sự nghiệp của ông: "Như là có một bóng ma đã viết bài hát này, nó mang đến cho bạn ca khúc rồi bỏ đi. Bạn không biết nó có ý gì. Ngoại trừ rằng nó đã chọn tôi để viết ca khúc này."[69]

Hơn 40 năm sau khi phát hành, "Like a Rolling Stone" vẫn được đánh giá cao, qua các cuộc khảo sát bởi các nhà phê bình và các nhạc sĩ. Một danh sách xếp hạng năm 2002 của Uncut và một cuộc thăm dò ý kiến của tờ tạp chí Mojo đều cho thấy kết quả ca khúc đứng đầu bảng.[70][71] Khi được hỏi về quan điểm cá nhân của ông về các cuộc khảo sát như vậy, Dylan đã nói với Ed Bradley trong một cuộc phỏng vấn năm 2004 trên 60 Minutes rằng ông không bao giờ quan tâm đến chúng, bởi gì chúng sẽ thay đổi thường xuyên.[72] Giải thích cho quan điểm của ông có lẽ phù hợp khi cuộc khảo sát 100 Bài hát Hay nhất Mọi thời đại của Mojo vào năm 2000, bao gồm 2 đĩa đơn của Dylan, nhưng lại không phải "Like a Rolling Stone". 5 năm sau, tạp chí lại liệt kê bài hát vào vị trí số 1.[71][73] Và Rolling Stone vào 1989 đã chọn "Like a Rolling Stone" là đứng thứ 2 trong suốt 25 năm,[74] sau đó vào năm 2004 lại đặt bài hát vào vị trí số một trong danh sách "500 bài hát vĩ đại nhất mọi thời đại".[75]